知识图完成最近已广泛研究，以通过主要建模图结构特征来完成三元组中的缺失元素，但对图形结构的稀疏性敏感。期望解决这一挑战的相关文本，例如实体名称和描述，充当知识图（kgs）的另一种表达形式（kgs）。已经提出了几种使用两个编码器的结构和文本消息的方法，但由于未能平衡它们之间的权重有限。并在推理期间保留结构和文本编码器，也遭受了沉重的参数。通过知识蒸馏的激励，我们将知识视为从输入到输出概率的映射，并在稀疏的kgs上提出了一个插件框架VEM2L，以将从文本和结构消息提取到统一的知识中融合知识。具体而言，我们将模型获取的知识分配为两个不重叠的部分：一个部分与训练三元组合的合适能力有关，可以通过激励两个编码者互相学习训练集来融合。另一个反映了未观察到的查询的概括能力。相应地，我们提出了一种新的融合策略，该策略由变量EM算法证明，以融合模型的概括能力，在此期间，我们还应用图形致密操作以进一步缓解稀疏的图形问题。通过结合这两种融合方法，我们最终提出了VEM2L框架。详细的理论证据以及定量和定性实验都证明了我们提出的框架的有效性和效率。

最初受生物神经网络（BNN）启发的人工神经网络（ANN）在许多任务（例如视觉表示学习）中取得了巨大的成功。但是，由于缺乏有效的工具来链接和互为两个不同的域，并且缺乏代表的一般有效的框架，ANN和BNN中的视觉表示之间是否存在语义相关性/连接仍然很大程度上尚未探索。 BNN中的视觉语义，例如人类功能性脑网络（FBN）。为了回答这个问题，我们提出了一个新颖的计算框架，即同步激活（同步性），以基于自然主义的功能磁共振成像（NFMRI）数据来对人脑中的ANN和BNN之间的视觉表示空间和语义进行。通过这种方法，我们能够在第一次以人类脑成像得出的生物学上有意义的描述中对神经元进行注释。我们在两个公开观看的NFMRI数据集上评估了同步操作框架。该实验证明了a）FBN中视觉表示与各种卷积神经网络（CNN）模型中的视觉表示之间的显着相关性和相似性； b）CNN的视觉表示与BNN的相似性与其在图像分类任务中的性能之间的紧密关系。总体而言，我们的研究介绍了一个一般有效的范式，以融入ANN和BNNS，并为未来的研究提供新的见解，例如脑启发的人工智能。

近年来，分布式机器学习已被广​​泛用于解决大型且复杂的数据集问题。因此，分布式学习的安全也引起了学术界和行业的越来越多的注意。在这种情况下，联合学习（FL）是通过在本地维护私人培训数据来开发为“安全”分布式学习的，并且仅在之间进行公共模型梯度。但是，迄今为止，为此过程提出了各种梯度泄漏攻击，并证明它是不安全的。例如，共享这些攻击的常见缺点：它们需要过多的辅助信息，例如模型权重，优化者和某些超参数（例如，学习率），在实际情况下很难获得。此外，许多现有算法避免在FL中传输模型梯度，然后转向发送模型权重，例如FedAvg，但很少有人认为其安全性违反。在本文中，我们提出了两个新颖的框架，以证明传输模型权重还可能在FL方案下泄露客户端局部数据，即（DLM和DLM+）。此外，进行了许多实验，以说明我们的攻击框架的效果和普遍性。在本文的最后，我们还向拟议的攻击介绍了两个防御，并评估了它们的保护效果。全面地，只有一些适当的自定义，拟议的攻击和防御方案也可以应用于一般分布式学习方案。

动作识别是人工智能的激动人心的研究途径，因为它可能是新兴工业领域（例如机器人视觉和汽车）的游戏规则。但是，由于巨大的计算成本和效率低下的学习，当前的深度学习面临着此类应用的主要挑战。因此，我们开发了一种新型的基于脑启发的尖峰神经网络（SNN）的系统，标题为用于在线动作学习的尖峰门控流（SGF）。开发的系统由多个以分层方式组装的SGF单元组成。单个SGF单元涉及三层：特征提取层，事件驱动的层和基于直方图的训练层。为了展示开发的系统功能，我们采用标准的动态视觉传感器（DVS）手势分类作为基准。结果表明，我们可以达到87.5％的精度，这与深度学习（DL）相当，但在较小的培训/推理数据编号比率为1.5：1。在学习过程中，只需要一个单个培训时代。同时，据我们所知，这是基于非回复算法的SNN中最高准确性。最后，我们结论了开发网络的几乎没有的学习范式：1）基于层次结构的网络设计涉及人类的先验知识； 2）用于基于内容的全局动态特征检测的SNN。

已经证明，深度神经网络（DNN）在解决许多现实问题方面是有效的，但其高计算成本禁止将这些模型部署到边缘设备。修剪，作为将零的方法引入模型重量的方法，已显示是在模型精度和计算效率之间提供良好权衡的有效方法，并且是一种生成压缩模型的广泛使用的方法。然而，修剪的粒度使得重要的权衡。在相同的稀疏性水平上，粗粒结构的稀疏图案在传统硬件上更有效，但导致更差的精度，而细粒度的非结构化稀疏模式可以实现更好的精度，但在现有硬件上效率低下。另一方面，一些现代处理器配备了快速的片上刻痕存储器和聚集/散射引擎，用于在这种存储器上执行间接负载和存储操作。在这项工作中，我们提出了一系列新颖的稀疏模式，命名为聚光散射（GS）模式，以利用Scratchpad存储器和收集/散射引擎来加速神经网络推论。相应地，我们呈现了一种紧凑的稀疏格式。提出的稀疏模式，以及一种新颖的修剪方法，解决了负载不平衡问题，并导致质量接近非结构化稀疏模型的型号，以及靠近结构化稀疏型号的计算效率。我们的实验表明，与传统结构稀疏模式相比，GS模式在精度和计算效率之间始终如一地进行折衷。 GS模式可以以相同的精度级别将DNN组件的运行时间减少两到三次。这是在三个不同的深度学习任务和流行模型中确认，即机器翻译的GNMT，用于图像识别的Reset50，以及用于声学语音识别的Japser。

学习时空事件的动态是一个根本的问题。神经点过程提高了与深神经网络的点过程模型的表现。但是，大多数现有方法只考虑没有空间建模的时间动态。我们提出了深蓝点过程（DeepStpp），这是一款整合时空点流程的深层动力学模型。我们的方法灵活，高效，可以在空间和时间准确地预测不规则采样的事件。我们方法的关键构造是非参数时空强度函数，由潜在过程管理。强度函数享有密度的闭合形式集成。潜在进程捕获事件序列的不确定性。我们使用摊销变分推理来推断使用深网络的潜在进程。使用合成数据集，我们验证我们的模型可以准确地学习真实的强度函数。在真实世界的基准数据集上，我们的模型展示了最先进的基线的卓越性能。

In this work, we tackle two vital tasks in automated driving systems, i.e., driver intent prediction and risk object identification from egocentric images. Mainly, we investigate the question: what would be good road scene-level representations for these two tasks? We contend that a scene-level representation must capture higher-level semantic and geometric representations of traffic scenes around ego-vehicle while performing actions to their destinations. To this end, we introduce the representation of semantic regions, which are areas where ego-vehicles visit while taking an afforded action (e.g., left-turn at 4-way intersections). We propose to learn scene-level representations via a novel semantic region prediction task and an automatic semantic region labeling algorithm. Extensive evaluations are conducted on the HDD and nuScenes datasets, and the learned representations lead to state-of-the-art performance for driver intention prediction and risk object identification.

Visual perception plays an important role in autonomous driving. One of the primary tasks is object detection and identification. Since the vision sensor is rich in color and texture information, it can quickly and accurately identify various road information. The commonly used technique is based on extracting and calculating various features of the image. The recent development of deep learning-based method has better reliability and processing speed and has a greater advantage in recognizing complex elements. For depth estimation, vision sensor is also used for ranging due to their small size and low cost. Monocular camera uses image data from a single viewpoint as input to estimate object depth. In contrast, stereo vision is based on parallax and matching feature points of different views, and the application of deep learning also further improves the accuracy. In addition, Simultaneous Location and Mapping (SLAM) can establish a model of the road environment, thus helping the vehicle perceive the surrounding environment and complete the tasks. In this paper, we introduce and compare various methods of object detection and identification, then explain the development of depth estimation and compare various methods based on monocular, stereo, and RDBG sensors, next review and compare various methods of SLAM, and finally summarize the current problems and present the future development trends of vision technologies.

With the prevalence of stream media platforms serving music search and recommendation, interpreting music by understanding audio and lyrics interactively has become an important and challenging task. However, many previous works focus on refining individual components of encoder-decoder architecture mapping music to caption tokens, ignoring the potential usage of audio and lyrics correspondence. In this paper, we propose to explicitly learn the multi-modal alignment with retrieval augmentation by contrastive learning. By learning audio-lyrics correspondence, the model is guided to learn better cross-modal attention weights, thus generating high-quality caption words. We provide both theoretical and empirical results that demonstrate the advantage of the proposed method.

In contrastive self-supervised learning, the common way to learn discriminative representation is to pull different augmented "views" of the same image closer while pushing all other images further apart, which has been proven to be effective. However, it is unavoidable to construct undesirable views containing different semantic concepts during the augmentation procedure. It would damage the semantic consistency of representation to pull these augmentations closer in the feature space indiscriminately. In this study, we introduce feature-level augmentation and propose a novel semantics-consistent feature search (SCFS) method to mitigate this negative effect. The main idea of SCFS is to adaptively search semantics-consistent features to enhance the contrast between semantics-consistent regions in different augmentations. Thus, the trained model can learn to focus on meaningful object regions, improving the semantic representation ability. Extensive experiments conducted on different datasets and tasks demonstrate that SCFS effectively improves the performance of self-supervised learning and achieves state-of-the-art performance on different downstream tasks.